Alexios III Angelos là con thứ hai của Andronikos Doukas Angelos và Euphrosyne Kastamonitissa. Bản thân Andronikos chính là con trai của Theodora Komnene Angelina, con gái út của Hoàng đế Alexios I Komnenos và Hoàng hậu Eirene Doukaina. Như vậy Alexios Angelos là thành viên có mối liên hệ huyến thống gần gũi với hoàng gia. Cùng với cha anh của mình, Alexios mưu tính chống lại hoàng đế Andronikos I Komnenos (k. 1183), và do đó ông đã phải sống lưu vong trong nhiều năm liền tại triều đình các xứ Hồi giáo, bao gồm cả Saladin.

Người em út Isaakios của ông bị đe doạ hành quyết theo lệnh của Andronikos I, người anh em họ đầu tiên trong dòng tộc bị trừ khử một lần nữa, vào ngày 11 tháng 9 năm 1185. Isaakios đã tấn công tuyệt vọng vào đám mật vụ của triều đình và giết chết vị lãnh đạo của họ là Stephanos Hagiochristophorites. Sau đó ông chạy sang lánh nạn trong nhà thờ Hagia Sophia và kêu gọi dân chúng phản kháng vụ việc này. Hành động của ông đã gây ra một cuộc bạo loạn, khiến Andronikos I bị phế truất và Isaakios được tôn lên ngôi hoàng đế. Alexios giờ đây lại đến gần với ngai vàng hơn bao giờ hết.